Việc mở Viện Bảo tàng Nghệ thuật Hiện đại Thành phố Paris được bắt nguồn từ năm 1937. Triển lãm nghệ thuật và kỹ thuật được tổ chức tại Paris là dịp để thành phố mua lại rất tác phẩm hiện đại giá trị. Trong đó có La Danse của Henri Matisse, Le Nu dans le bain và Le Jardin của Pierre Bonnard, L'équipe de Cardiff của Robert Delaunay, La Rivière của André Derain, Les Disques của Fernand Léger, L'Escale của André Lhote, L'Oiseau bleu của Jean Metzinger, bốn bức chân dung của Édouard Vuillard cùng một số tác phẩm của Pierre Chareau, André Arbus, Jacques-Émile Ruhlmann...[3] Cũng khoảng cuối thập kỷ 1930, Petit Palais được Emanuele Sarmiento, một người Colombia gốc Ý, giữ chức lãnh sự tại Ý, tặng lại 55 tác phẩm của các họa sĩ Ý và trường phái Paris. Năm 1937, Ambroise Vollard tặng một bộ sưu tập các tác phẩm gốm của André Derain, Jean Puy, Georges Rouault...[4].

Năm 1951, thành phố nhận được di tặng của bác sĩ Maurice Girardin khiến Petit Palais trở nên quá bé. Sau 6 năm sửa chữa, Viện Bảo tàng Nghệ thuật Hiện đại Thành phố Paris được mở cửa chính thức vào năm 1961 tại Palais de Tokyo[3]. Bộ sưu tập của viện bảo tàng khi đó gồm các tác phẩm trường phái Dã thú, Lập thể, Xu hướng màu sắc (Orphism). Kể những năm 1960, viện bảo tàng mua thêm nhiều tác phẩm đương đại, các phòng trưng bày Hiện thực mới, Fluxus... được mở[5].

Trong các thập niên từ năm 1960 tới năm 1980, Viện Bảo tàng Nghệ thuật Hiện đại Thành phố Paris tiếp tục nhận được nhiều quà tặng giá trị.